In het begin van de veertiende eeuw, in 1309, ontstond er een godsdienstige vereniging voor jongemannen. Bogarden, die geen kloosterhabijt droegen, maar een genootschap vormden dat door handenarbeid de kost verdiende en een godsdienstig leven wilde leiden. Door het weven van lakense stoffen wilden zij in hun onderhoud voorzien. Misschien daarom ook kochten zij een huis in de Verwersstraat, waar de lakennijverheid geconcentreerd was. Dit huis bevond zich toen nog buiten de veilig muren van de vestingstad.

In 1439 gingen de Bogarden leven volgens de derde orde van St. Franciscus. Een aantal van hen wilde nog verder gaan en deel uitmaken van een echte kloosterorde. In 1466 verzocht een aantal Bogarden aan de bisschop van Luik of aansluiten bij de orde van de Kruisheren mogelijk was. Dit stond de bisschop toe en acht Bogarden traden bij de Kruisheren in. Maar zij bleven in het bestaand kloostertje wonen. Dit leidde tot sterke onenigheid met de overgebleven acht Bogarden over wie nu de eigenlijke eigenaar van het klooster was: de Bogarden of de Kruisheren? Paus Paulus II besliste in 1469 in het voordeel van de Bogarden. De kruisheren moesten het pand verlaten.

In 1470 sloten de Bogarden een overeenkomst met het Gilde van de Linnenwevers over hun werkzaamheden in de lakennijverheid en de relatie met de ambachtslieden. Kloosters bezaten namelijk vrijheid van het betalen van accijnzen hetgeen tot concurrentie met de ambachtsgilden leidde. De Bogarden sloten deze overeenkomst om moeilijkheden te voorkomen. Er werd een bedrag van drie pond per jaar betaald door de Bogarden, waarvoor ze toestemming kregen om acht weefgetouwen in het klooster te plaatsen.

In 1515 werd het weven door de Bogarden verboden door het Bossche stadsbestuur. In de jaren daarna treedt het verval van het klooster in. Er kwamen geen nieuwe Bogarden meer en het aantal leden daalde. In 1585 waren er nog maar twee, van wie er één in het klooster zelf woonde. In dat jaar gaf paus Sixtus V toestemming aan de Rosmalense zusters van het klooster St.-Anneborch om het onveilige platteland te verlaten en zich in het Bogardenklooster te vestigen. In 1587 gebeurde dat daadwerkelijk en waren er na tweeëneen halve eeuw geen Bogarden meer.

In 1609 vestigden zich in het klooster van de Bogarden de Jezuïeten. Toen deze in 1629 verdwenen kwam de militaire gouverneur van de stad in het complex wonen. Eind 18e eeuw is het geheel verbouwd tot het gouvernement zoals wij dat nu kennen. Opnieuw wordt er gebouwd: nu ten behoeve van de huisvesting van het Noordbrabants Museum.

Aan de Bogarden herinnert ons nog het Oud Bogardenstraatje, een klein zijstraatje van de Verwersstraat.